تم دمج الأسوار البيزنطية القديمة مع سور السلطان لعزل القصر عن المدينة. وقد شُيِّد قصر طوب قابي، الذي يضم الحرم داخل جدرانه الحصينة، بأمر من السلطان محمد الفاتح، وبدأ استخدامه منذ عام 1478. واليوم، يُعدّ هذا القصر الكبير متحفًا يُسلّط الضوء على التاريخ من خلال عرض كنوز إمبراطورية مبهرة.

يمتد الحرم على مساحة تقارب 150 مترًا طولًا و80 مترًا عرضًا؛ وهو متاهة مكوّنة من حوالي 400 غرفة، تشمل صالات، ممرات، أفنية داخلية وساحات. ومنذ عام 1550 وحتى إغلاقه في عام 1909، ظلّ الحرم أعظم أسرار قصر طوب قابي.